We propose a light-weight and highly efficient Joint Detection and Tracking pipeline for the task of Multi-Object Tracking using a fully-transformer architecture. It is a modified version of TransTrack, which overcomes the computational bottleneck associated with its design, and at the same time, achieves state-of-the-art MOTA score of 73.20%. The model design is driven by a transformer based backbone instead of CNN, which is highly scalable with the input resolution. We also propose a drop-in replacement for Feed Forward Network of transformer encoder layer, by using Butterfly Transform Operation to perform channel fusion and depth-wise convolution to learn spatial context within the feature maps, otherwise missing within the attention maps of the transformer. As a result of our modifications, we reduce the overall model size of TransTrack by 58.73% and the complexity by 78.72%. Therefore, we expect our design to provide novel perspectives for architecture optimization in future research related to multi-object tracking.

Embodied Instruction Following (EIF) studies how mobile manipulator robots should be controlled to accomplish long-horizon tasks specified by natural language instructions. While most research on EIF are conducted in simulators, the ultimate goal of the field is to deploy the agents in real life. As such, it is important to minimize the data cost required for training an agent, to help the transition from sim to real. However, many studies only focus on the performance and overlook the data cost -- modules that require separate training on extra data are often introduced without a consideration on deployability. In this work, we propose FILM++ which extends the existing work FILM with modifications that do not require extra data. While all data-driven modules are kept constant, FILM++ more than doubles FILM's performance. Furthermore, we propose Prompter, which replaces FILM++'s semantic search module with language model prompting. Unlike FILM++'s implementation that requires training on extra sets of data, no training is needed for our prompting based implementation while achieving better or at least comparable performance. Prompter achieves 42.64% and 45.72% on the ALFRED benchmark with high-level instructions only and with step-by-step instructions, respectively, outperforming the previous state of the art by 6.57% and 10.31%.

当在现实世界中以任务为导向的对话系统中实现自然语言（NLG）组件时，不仅需要在训练数据上学习的自然话语，而且还需要适应对话环境（例如，环境中的噪音）听起来）和用户（例如，理解能力水平较低的用户）。受到语言生成任务的强化学习（RL）的最新进展的启发，我们提出了Antor，这是一种通过强化学习来适应以任务为导向对话的自然语言生成的方法。在Antor中，与用户对系统话语的理解相对应的自然语言理解（NLU）模块已纳入RL的目标函数中。如果将NLG的意图正确传达给了NLU，该意图理解了系统的话语，则NLG将获得积极的回报。我们在Multiwoz数据集上进行了实验，并确认Antor可以对语音识别错误和用户的不同词汇水平产生适应性话语。

长尾数据集（Head Class）组成的培训样本比尾巴类别多得多，这会导致识别模型对头等舱有偏见。加权损失是缓解此问题的最受欢迎的方法之一，最近的一项工作表明，班级难度可能比常规使用的类频率更好地决定了权重的分布。在先前的工作中使用了一种启发式公式来量化难度，但是我们从经验上发现，最佳公式取决于数据集的特征。因此，我们提出了困难网络，该难题学习在元学习框架中使用模型的性能来预测类的难度。为了使其在其他班级的背景下学习班级的合理难度，我们新介绍了两个关键概念，即相对难度和驾驶员损失。前者有助于困难网络在计算班级难度时考虑其他课程，而后者对于将学习指向有意义的方向是必不可少的。对流行的长尾数据集进行了广泛的实验证明了该方法的有效性，并且在多个长尾数据集上实现了最先进的性能。

在一系列软物质系统中广泛观察到玻璃过渡。但是，尽管有多年的研究，这些转变的物理机制仍然未知。特别是，一个重要的未解决的问题是玻璃转变是否伴随着特征静态结构的相关长度的分歧。最近，提出了一种可以从纯精度的纯静态信息中预测长期动态的方法。但是，即使是这种方法也不通用，并且对于KOB（Andersen系统）而言，这是典型的玻璃形成液体模型。在这项研究中，我们开发了一种使用机器学习或尤其是卷积神经网络提取眼镜的特征结构的方法。特别是，我们通过量化网络做出的决策的理由来提取特征结构。我们考虑了两个质量不同的玻璃形成二进制系统，并通过与几个既定结构指标进行比较，我们证明我们的系统可以识别依赖于系统细节的特征结构。令人惊讶的是，提取的结构与热波动中的非平衡衰老动力学密切相关。

与其他类别（称为少数族裔或尾巴类）相比，很少的类或类别（称为多数或头等类别的类别）具有更高的数据样本数量，在现实世界中，长尾数据集经常遇到。在此类数据集上培训深层神经网络会给质量级别带来偏见。到目前为止，研究人员提出了多种加权损失和数据重新采样技术，以减少偏见。但是，大多数此类技术都认为，尾巴类始终是最难学习的类，因此需要更多的重量或注意力。在这里，我们认为该假设可能并不总是成立的。因此，我们提出了一种新颖的方法，可以在模型的训练阶段动态测量每个类别的瞬时难度。此外，我们使用每个班级的难度度量来设计一种新型的加权损失技术，称为“基于阶级难度的加权（CDB-W）损失”和一种新型的数据采样技术，称为“基于类别难度的采样）（CDB-S ）'。为了验证CDB方法的广泛可用性，我们对多个任务进行了广泛的实验，例如图像分类，对象检测，实例分割和视频操作分类。结果验证了CDB-W损失和CDB-S可以在许多类似于现实世界中用例的类别不平衡数据集（例如Imagenet-LT，LVIS和EGTEA）上实现最先进的结果。

许多研究提出了通过使用强化学习在系统中的共同训练模块来优化整个管道任务对话系统对话性能的方法。但是，这些方法受到限制，因为它们只能应用于使用可训练的神经方法实施的模块。为了解决此问题，我们提出了一种方法，以优化由使用任意方法进行对话性能的模块组成的管道系统。使用我们的方法，在此系统中安装了称为后处理网络（PPN）的基于神经的组件（PPN），以后处理每个模块的输出。所有PPN均已更新，以通过使用强化学习来提高系统的整体对话性能，而不必每个模块可区分。通过对MultiWoz数据集的对话模拟和人类评估，我们表明我们的方法可以改善由各种模块组成的管道系统的对话性能。

Vision Transformer（VIT）在图像处理中变得越来越流行。具体而言，我们研究了测试时间适应（TTA）对VIT的有效性，VIT是一种已经出现的技术，可以自行纠正其在测试时间期间的预测。首先，我们在VIT-B16和VIT-L16上基准了各种测试时间适应方法。结果表明，使用适当的损耗函数时，TTA对VIT有效，并且先前的投入（明智地选择调制参数）是不需要的。基于观察结果，我们提出了一种称为类条件特征对齐（CFA）的新的测试时间适应方法，该方法将类别条件分布的差异和在线源中隐藏表示的整个分布差异最小化，在线中的整个分布差异方式。图像分类任务（CIFAR-10-C，CIFAR-100-C和Imagenet-C）和域适应性（Digits DataSet和Imagenet-Sketch）的实验表明，CFA稳定地超过了各种数据集中的现有基础。我们还通过在RESNET，MLP混合和几种VIT变体（Vit-augreg，Deit和Beit）上实验来验证CFA是模型不可知论。使用BEIT主链，CFA在Imagenet-C上达到了19.8％的TOP-1错误率，表现优于现有的测试时间适应基线44.0％。这是不需要改变训练阶段的TTA方法中的最新结果。

步态计划是一种通常应用于地面机器人的过程，例如四足机器人； Tilt-Rotor是一种新型的四型四个输入，不是其中之一。在控制倾斜 - 依赖反馈线性化的倾斜旋转时，预计倾斜角度（输入）将过度改变，这在应用程序中可能不会预期。为了帮助抑制倾斜角度的密集变化，在反馈线性化之前，将步态计划程序引入倾斜度。用户提前时间指定倾斜角度，而不是由控制规则给出。但是，基于这种情况，反馈线性化中的去耦矩阵对于某些态度，滚动角度和螺距角的组合可能是单数的。它阻碍了反馈线性化的进一步应用。因此，建立了两个彩色图定理，以最大程度地提高可接受的态度区域，在该区域中，滚动和音高的组合将产生可逆的去耦矩阵。然而，该定理过度限制了倾斜角度的选择，这可以排除一些可行的健壮步态。本文给出了广义的两个彩色图定理。所有健壮的步态都可以根据这种广义定理找到。分析了满足该广义的两个彩色图定理（违反两个彩色图定理）的三个步态的鲁棒性。结果表明，概括的两个颜色图定理完成了对倾斜旋转的稳健步态的搜索。

这项工作与发现物理系统的偏微分方程（PDE）有关。现有方法证明了有限观察结果的PDE识别，但未能保持令人满意的噪声性能，部分原因是由于次优估计衍生物并发现了PDE系数。我们通过引入噪音吸引物理学的机器学习（NPIML）框架来解决问题，以在任意分布后从数据中发现管理PDE。我们的建议是双重的。首先，我们提出了几个神经网络，即求解器和预选者，这些神经网络对隐藏的物理约束产生了可解释的神经表示。在经过联合训练之后，求解器网络将近似潜在的候选物，例如部分衍生物，然后将其馈送到稀疏的回归算法中，该算法最初公布了最有可能的PERSIMISIAL PDE，根据信息标准决定。其次，我们提出了基于离散的傅立叶变换（DFT）的Denoising物理信息信息网络（DPINNS），以提供一组最佳的鉴定PDE系数，以符合降低降噪变量。 Denoising Pinns的结构被划分为前沿投影网络和PINN，以前学到的求解器初始化。我们对五个规范PDE的广泛实验确认，该拟议框架为PDE发现提供了一种可靠，可解释的方法，适用于广泛的系统，可能会因噪声而复杂。